查看原文
其他

中国信通院、北邮与清华联合发布开源具身智能操作系统

中国信通院CAICT 2024年09月27日 09:11

具身智能是一种将人工智能深度融入机器人或其他物理实体中的颠覆性技术,使它们能够自主感知、学习并与环境进行动态互动。未来,具身智能技术赋能的机器人(或称具身智能体)将无处不在。它可以是物流仓库中的自动搬运机器人、工厂里的机械臂、协助完成高精度手术操作的医生助理、救火现场的消防员、帮助处理日常家务、照顾老人和儿童的家庭服务机器人。


当前,定义一个全球化的具身智能软硬件生态系统已变得迫在眉睫。在这一生态系统中,具身智能操作系统是核心要素。掌握这一基础软件架构及其与硬件的接口标准者,将在未来十年内主导具身智能领域的突破与进步。尤其对我国而言,拥有自主可控的操作系统和中间件至关重要。传统操作系统往往难以同时满足具身智能体在实时性、安全性以及智能交互方面的需求。因此,具身智能技术的发展迫切需要在基础软件层面,特别是操作系统领域,夯实根基。这不仅能为具身感知、具身规划和具身执行等核心环节提供有力支持,还能促进零配件及通信协议层面形成统一的事实标准,加速行业的融合与发展。


前期,中国信息通信研究院(简称“中国信通院”)、北京邮电大学与清华大学联合推出了一款面向智能机器人的开箱即用的具身智能操作系统——有形具身智能操作系统,英文名为:Embodied Operating System(简称“EOS”),并已经于近期开源。有形具身智能操作系统(EOS)不同于国外知名机器人框架ROS,其不仅限于中间件层面的功能实现,而是从操作系统内核到中间件以及具身智能和空间智能算法库进行了全方位的设计和实现,并支持了实时内核。


有形具身智能操作系统(EOS)架构图


有形具身智能操作系统(EOS)具备以下4个突出特点:


1. 有形具身智能操作系统(EOS)对国产芯片进行了深度适配,强调自主可控和开源开放。目前,有形具身智能操作系统(EOS)的内核为实时操作系统内核RROS,基于RROS已完成对龙芯(Loongarch)指令集的支持和RISC-V指令集及的部分支持。这种深度适配不仅确保了操作系统能够在各种国产硬件平台上稳定运行,更能够最大限度地发挥国产芯片的性能优势。通过自主可控的技术路线,EOS降低了对国外软硬件技术的依赖,增强了技术安全性。此外,开源开放的特性使得开发者和企业能够共同参与系统的开发和优化,推动形成一个充满活力和创新的开源生态系统。


2. 有形具身智能操作系统(EOS)是机器人应用于新型工业化中所急需的基础软件。实时操作系统对于工业机器人和医疗机器人等对时间和精度有要求的场景至关重要,EOS通过集成RROS,赋予了Linux内核实时化能力,确保机器人或具身智能体能够安全、可靠地执行实时任务。这一集成使得EOS具备了处理高实时性任务的能力,可以在微秒级响应外部环境的变化,保证机器人在执行复杂任务尤其是工业场景或多智能体协作时的精确度和安全性。实时化能力对工业机器人、自动驾驶车辆和医疗机器人等需要快速反应和高可靠性的应用场景尤其重要,有助于实现更高水平的操作效率和任务安全。


3. 有形具身智能操作系统(EOS)为开发者提供了一种低门槛的具身智能应用开发范式。EOS期望通过简化的开发流程、丰富的中间件、独立维护的具身智能和空间智能算法库、公开的协作机制和平台,让开发者可以轻松上手并迅速开始项目开发。具体来说,EOS计划提供全声明周期的开发支持套件,包括仿真软件支持,实体硬件套装,不仅可以缩短产品的研发周期,还大幅降低了开发成本,助力各类智能设备的创新与快速迭代,推动具身智能生态圈的持续扩展和成熟发展。同时,EOS开发系统能够支持多智能体协议,允许开发者轻松构建和管理多个智能体之间的协作,使不同智能体能够在复杂场景中高效协同工作。系统还会提供丰富的开发工具、预构建的模块和完善的技术文档,帮助开发者快速构建、测试和部署智能机器人和具身智能体应用。并且,基于EOS提供的上下游机制和平台,可以让具身智能相关软硬件协同优化,汇聚软件算法、中间件、通信协议、实时内核、底层硬件等上下游参与者。


4. 有形具身智能操作系统(EOS)为具身智能体的用户提供了AI原生的人机交互体验。机器人或具身智能体往往具备相比PC或手机更强的主动性,普遍具备包括移动、抓取等在内的与真实世界交互的能力,这必将引发人机交互的新变革,因此迫切需要“具身智能原生”的操作系统。有形具身智能操作系统(EOS)通过支持语音识别、自然语言处理、视觉感知等多种交互方式,使用户能够以更加自然和直观的方式与智能设备互动。这种自然的交互方式打破了传统设备依赖屏幕和触控的限制,使得人与机器之间的沟通变得更加多样化和沉浸式。通过有形具身智能操作系统(EOS),用户不仅可以通过语音命令和手势操控机器人,还能够借助具身智能体的主动性实现更复杂的任务,如自主导航、环境感知、物体操作等。


当前进展与未来路线图:


1. 目前进展

有形具身智能操作系统(EOS)已在Github(https://github.com/EOS-team/EOS)和Gitee(https://gitee.com/LHY1999/EOS)开源,搭建了基于 Fedora-copr 的开源项目构建和发布服务(http://eos.eaishow.com/)和独立镜像源,并开源了以3D人体姿态识别为代表的空间智能或具身感知算法SDK。


有形具身智能操作系统(EOS)未来路线图


2. 未来规划

(1)推出基于RISC-V的EOS发行版,发行版包括常见的机器人开发与应用系统库、中间件、算法库,打造便捷的开发体验。


(2)依托“鲸智”工业和信息化部大模型公共服务平台(http://aihub.caict.ac.cn/)和AIIA具身智能工作组、开源开放委员会,借助开源社区力量,不断丰富具身智能和空间智能算法库算法数量。


(3)EOS基于RROS针对ethercat、ROS2做原生实时性支持和优化。


(4)通过协作平台,广泛收集并支撑软件算法、中间件、通信协议、实时内核、底层硬件等上下游平台的需求,基于Linux内核支撑相关组件超过1000个。


(5)针对实时性,基于实时内核构造的应用接口进行上下游组件实时性优化,完成相关组件的支持和优化。


(6)正式发布EOS LTS版本,并附带提供全流程开发软硬套件。


下一步安排:


EOS研究团队拟于2024年10月11日下午15点,于北京市海淀区首享科技大厦1层会议室召开EOS具身智能操作系统生态合作伙伴研讨会,将对EOS的架构和未来发展路线进行介绍,欢迎具身智能、机器人、机械臂、芯片、机器人零配件、端侧大模型和基础大模型等领域公司参与本次研讨。

扫描上方二维码报名



联系人:

李纪超

18519187760

lijichao@caict.ac.cn

白入文

15501202911

bairuwen@caict.ac.cn






校  审 | 谨  言、珊  珊

编  辑 | 凌  霄


推荐阅读

中国信通院发布量子计算测评体系1.0
专家谈



继续滑动看下一个
中国信通院CAICT
向上滑动看下一个
选择留言身份

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存